クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年3月号

データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。

今回は、re:Invent2022の翌々月ということもあり、新機能・アップデートは控えめでした。

Amazon Redshift

新機能・アップデート

2023/02/28 Amazon Redshift announces general availability of ROLLUP, CUBE, and GROUPING SETS in GROUP BY clause

Amazon Redshiftは、ROLLUP、CUBE、GROUPING SETSを含む新しいSQL機能をサポートし、多次元分析アプリケーションの構築を簡素化します。これらのサポートによってデータウェアハウスの移行を簡素化します。

GROUPING SETS、ROLLUP、CUBEは、分析用途の複雑な集計ロジックを1つのSQLで取得するのに便利な関数です。

• ROLLUPは、小計や総計を取得するのに便利
• CUBEは、マルチディメンショナルな事前集計が可能
• GROUPING SETSを用いるとROLLUPやCUBEに書き換えることも可能であり、SUM以外の集計関数との組み合わせ次第ではより便利な集計も可能になります。

Amazon Athena

新機能・アップデート

2023/01/31 Amazon Athena が Google Cloud Storage 用のデータソースコネクタをリリース

一言でいうと、AthenaからGCSのデータにクエリできるようになりました。Parquet 形式およびカンマ区切り値 (CSV) 形式で保存されたデータをクエリできます。

早速試してみましたので、ご覧ください。

Amazon QuickSight

新機能・アップデート

2023/02/22 Amazon QuickSight enables role-based access control to data sources that connect to Amazon S3 and Athena

Amazon QuickSightでは、Amazon S3およびAmazon Athenaに接続するQuickSightデータソースに、ロールベースのアクセスポリシーを追加できるようになりました。今回の「Run-as IAM Role for S3 and Athena」の提供開始により、QuickSightアカウント管理者は、QuickSightからS3またはAthenaへの接続にアカウント全体のアクセスを有効にするのではなく、QuickSightアカウント内の個々のS3またはAthenaデータソースにIAM Roleを提供できるようになります。

以下のブログでは、S3 データソース作成時にカスタムロールを指定して、権限のオーバーライドを試しています。

AWS Glue

新機能・アップデート

2023/02/06 AWS Glue クローラーで MangoDB Atlas のサポートを開始

AWS Glue クローラーは、MongoDB Atlasのサポートを開始しました。Glue クローラーコンソールでは、MongoDB をデータソースとして選択、Glue 接続を接続タイプ「DocumentDB/MongoDB」で作成することで、MongoDB Atlas のクラスター情報と認証情報を提供できます。

2023/02/24 AWS Glue Crawlers now support integration with Lake Formation

AWS Glue Crawlers がAWS Lake Formationと統合され、クローラーのセットアップが簡単になり、AWS S3 データレイクのアカウント内およびクロスアカウントのクロールに対する一元化されたアクセス許可がサポートされるようになりました。

Amazon OpenSearch Service

新機能・アップデート

2023/01/31 Amazon OpenSearch Service で VPC ドメインのリモートでのインデックス再作成が簡素化

Amazon OpenSearch Service にクロスクラスター接続モードが新しく追加されました。これにより、ローカルドメインとリモート VPC ドメイン間にリモートでインデックスを再作成するためのセットアップが、簡単にできるようになりました。

2023/01/31 Amazon OpenSearch Service がドメイン作成中に SAML を有効にするサポートを開始

Amazon OpenSearch Service は、ドメイン作成中に OpenSearch ダッシュボードの Security Assertion Markup Language (SAML) 認証を有効にできるようになりました。OpenSearch ダッシュボードの SAML 認証により、ユーザーは Okta、Ping Identity、OneLogin、Auth0、Active Directory フェデレーションサービス (ADFS)、Azure Active Directory などのサードパーティー ID プロバイダー (IDP) と直接統合できるようになりました。

2023/02/20 Amazon OpenSearch Service では、サービスソフトウェア更新をオフピーク時間にスケジューリング可能に

Amazon OpenSearch Service では、サービスソフトウェアや Auto-Tune の更新をオフピーク時間にスケジューリングできるようになりました。これはドメインへのデプロイのより良い計画を立てるのに役立ちます。

Amazon Kinesis

新機能・アップデート

2023/02/15 Amazon Kinesis Data Streams for Amazon DynamoDB がグローバルテーブル向け AWS CloudFormation のサポートを開始

Amazon Kinesis Data Streams for Amazon DynamoDB が DynamoDB グローバルテーブル向け AWS CloudFormation のサポートを開始しました。

AWS Lake Formation

新機能・アップデート

2023/02/27 AWS Lake Formation extends Data Filters to all regions for supported services

Amazon Athena (V3) や Amazon Redshift Spectrum などの行レベルのセキュリティをサポートする AWS アナリティクス サービスを使用する場合、AWS Lake Formation がサポートされているすべてのリージョンでデータ フィルター機能を使用できるようになりました。

【3/9（木）】ユースケースに学ぶ、事業に付加価値をもたらすAI・機械学習の活用方法

ビジネス領域へのAI/機械学習活用が年々加速しており、あらゆる分野の裏側でAI/機械学習の仕組みを導入した事例が多数存在する時代になりました。 一口にAI/機械学習と言っても、事業領域ごとに対象となるデータの形式や解決すべき課題は様々であり、それらに対する解決手法、適切なツール、サービスも様々です。

本ウェビナーでは、機械学習のプロジェクトの進め方や、目的別のユースケースについて解説します。 今回は2022年11月に開催したウェビナー内容に加えて、Google Cloudを活用した自然言語処理のユースケースについて解説します。前回参加した方もぜひお申し込みください。

データ分析相談会 ／データ分析環境構築支援

クラスメソッドのアナリティクス分野の支援では、AWS、Google Cloudを中心としたクラウド上でのデータ分析基盤環境づくりにおいてトータルでサポートしています。

このようなことでお困りではないですか？

• 企業内に点在するデータを1箇所にまとめて分析したい
• クラウド上で分析基盤を導入したい・・・
• データを活用したいが、具体的に何から始めたらいいかわからない

データ分析の相談会、オーダーメイドの分析基盤構築の開発もおこなっています。お客様の課題にあわせた最適な構成をご提案いたします。お気軽にご相談ください。

データ分析相談会のお申込みはこちら

最後に

2023年02月に発表された、AWSのアナリティクス関連のアップデートについて、メンバーでピックアップした情報についてご紹介しました。

AWSの新機能やアップデートではありませんが、Martin Kleppmann著の『データ指向アプリケーションデザイン』をご存知でしょうか。 副題は「信頼性、拡張性、保守性の高い分散システム設計の原理」ですが、私も3章ストレージと抽出や7章のトランザクションは何度も読み返しました。「この本がもっと前にあったら...」と何度も口にした良書だと思います。ぜひ、このブログをきっかけに本書を手に取っていただけたら幸いです。

クラスメソッド データアナリティクス通信(AWSデータ分析編) - 2023年03月は以上です。

合わせて読みたい